Yamagata là thành viên của nhóm 7 chính trị gia, sau này được gọi là genrō (Nguyên lão) thống trị chính trường Nhật Bản. Từ genrō dùng để chỉ những một tập hợp nhỏ các nhà lãnh đạo cách mạng cùng chung mục đích và những người cho đến năm 1880 đã hất cẳng hay cô lập được các nhà lãnh đạo ban đầu khác. 7 người này (thêm 2 người được chọn sau này sau khi một số trong 7 người ban đầu đã chết) lãnh đạo Nhật Bản trong nhiều năm, qua những biến chuyển to lớn từ một quốc gia nông nghiệp thành một đất nước công nghiệp và quân sự hiện đại. Tất cả các genrō đều nhiều lần làm Thủ tướng. Về mặt tổ chức, genrō không có địa vị chính thức, họ đơn giản chỉ là những cố vấn tin cẩn của Thiên hoàng. Các genrō cùng nhau đưa ra các quyết định quan trọng nhất, ví dụ như chính sách đối ngoại, chiến tranh và hòa bình, và khi nội các từ chức thì họ chọn một Thủ tướng mới. Vào thế kỷ 19, quyền lực của họ mất dần vì có những người qua đời hay bất đồng nội bộ, và quyền lực chính trị ngày càng tăng của lục quân và hải quân. Nhưng genrō vẫn có quyền lực trong việc chọn các Thủ tướng cho đến sau cái chết của genrō cuối cùng, Công tước Saionji năm 1940.

Yamagata và Itō Hirobumi là những người nổi bật nhất trong số 7 người, và sau vụ ám sát Itō năm 1909, Yamagata trở thành người đứng đầu các genrō. Nhưng Yamagata cũng có nền tảng quân sự lớn trong các sĩ quan lục quân và kẻ quân phiệt. Ông trở thành người đứng đầu của nhóm người Nhật bảo thủ. Ông không tin tưởng sâu sắc vào các cơ quan dân chủ, và ông đã giành phần còn lại của đời mình để xây dựng và bảo vệ quyền lực, đặc biệt là quyền lực chính trị, của quân đội.

Trong sự nghiệp dài và đa dạng của mình, Yamagata đã nắm giữ nhiều chức vụ quan trọng trong chính phủ. Năm 1882, ông trở thành Chủ tịch Hội đồng Lập hiến (Sanjiin) và khi là Bộ trưởng Nội vụ (1883–87) ông làm việc rất hăng say để đàn áp các đảng phái chính trị và ngăn chặn sự ủng hộ công khai trong các phong trào ruộng đất và công nhân. Ông cũng tổ chức một hệ thống hành chính địa phương, dựa trên hệ thống tỉnh-hạt-thành phố đến này vẫn được sử dụng tại Nhật Bản. Năm 1883, Yamagata được bổ nhiệm vào vị trí Chương Ấn quan, vị trí cao nhất trong hệ thống chính quyền trước khi Hiến pháp Minh Trị được ban hành năm 1889.

Yamagata trở thành Thủ tướng Nhật Bản thứ ba sau khi mở Nghị viện Hoàng gia theo quy định của Hiến pháp Minh Trị từ ngày 24 tháng 12 năm 1889 đến ngày 6 tháng 5 năm 1891. Trong nhiệm kỳ đầu của ông, Sắc dụ Giáo dục được ban hành.

Yamagata lần thứ hai nhậm chức Thủ tướng từ ngày 8 tháng 11 năm 1898 đến ngày 19 tháng 10 năm 1900. Năm 1900, trong nhiệm kỳ Thủ tướng thứ hai của mình, ông ban bố điều luật chỉ có các sĩ quan quân sự đương nhiệm mới được giữ chức Bộ trường Chiến tranh hay Bộ trường Hải quân, một điều luật cho quân đội có thể kiểm soát cấu trúc của bất kỳ nội các tương lại nào. Ông cũng đưa vào thực thi các điều luật ngăn cản thành viên của các đảng phái chính trị không được giữ những vị trí chủ chốt trong chính quyền.

Ông là Chủ tịch của Cơ mật viện trong thời gian 1893-94 và 1905-22.

Năm 1896, Yamagata dẫn đầu một phái đoàn ngoại giao đến Moskva, ký Hiệp ước Yamagata-Lobanov xác nhận quyền lợi của Nhật Bản và Nga tại Vương quốc Triều Tiên.

Yamagata được nâng lên hàng quý tộc, và nhận tước koshaku (Công tước) dưới hệ thống kazoku (Hoa tộc) năm 1907.

Từ 1900 đến 1909, Yamagata chống lại Itō Hirobumi, lãnh đạo của phe dân sự, và giành được ảnh hưởng từ người bảo trợ của mình là, Katsura Tarō. Sau cái chết của Itō Hirobumi năm 1909, Yamagata trở thành nhà chính trị giàu ảnh hưởng nhất Nhật Bản cho đến tận khi qua đời năm 1922, mặc dù ông đã rời khỏi các hoạt động chính trị sau Chiến tranh Nga-Nhật. Tuy vậy, là Chủ tịch Cơ mật viện từ 1909 đến 1922, Yamagata vẫn duy trì quyền lực đằng sau chính phủ và quyết định việc lựa chọn Thủ tướng tương lai cho đến khi qua đời.

Năm 1912, Yamagata tạo ra tiền lệ về việc quân đội có thể giải tán nội các. Một cuộc tranh cãi với Thủ tướng Hầu tước Saionji Kinmochi về ngân sách quân đội đã trở thành một cuộc khủng hoảng Hiến pháp, còn được biết đến với cái tên khủng hoảng Đại Chính sau khi Thiên hoàng Yoshihito lên ngôi. Bộ trưởng Lục quân, Tướng Uehara, từ chức khi nội các không cung cấp cho ông đủ số tiền ông cần. Saionji muốn thay thế ông ta. Luật Nhật Bản yêu cầu rằng các bộ trưởng lục quân và hải quân phải là các tướng lĩnh cao cấp và đô đốc tại nhiệm. Trong trường hợp này, tất cả các tướng quân đủ tư cách do sự xúi bẩy của Yamagata đều từ chối tham gia vào nội các Saionji, và nội các bị buộc phải từ chức.